ภายหลังที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทรงวางระเบียบสำหรับปรับปรุงการคลังของประเทศตามพระราชบัญญัติสำหรับหอรัษฎากรพิพัฒน์ไปแล้ว ทรงพระราชดำริว่า การภาษีอากรอันเป็นเงินผลประโยชน์ก้อนใหญ่สำหรับใช้จ่ายในราชการทำนุบำรุงบ้านเมือง และใช้จ่ายเป็นเบี้ยหวัดเงินเดือนข้าราชการฝ่ายทหารและพลเรือนนั้น พระคลังมหาสมบัติยังจัดไม่รัดกุมเป็นระเบียบเรียบร้อย เงินผลประโยชน์ของรัฐบาลยังกระจัดกระจายตกค้างอยู่กับเจ้าภาษีนายอากรเป็นจำนวนมาก เป็นเหตุให้เงินยังไม่พอใช้จ่ายในราชการและทำนุบำรุงบ้านเมืองให้สมดุล จึงทรงปรึกษากับสภาที่ปรึกษาราชการแผ่นดิน หรือเคาน์ซิลเลอร์ ออฟ สเตด (Councillors of State) พร้อมด้วยคณะเสนาบดี ตราพระราชบัญญัติกรมพระคลังมหาสมบัติ จุลศักราช 1237 ขึ้นเมื่อวันที่ 14 เมษายน พ.ศ. 2418 ว่าด้วยกรมต่างๆ ซึ่งจะเบิกเงินส่งเงินของทางราชการ

พระราชบัญญัติสำหรับกรมพระคลังมหาสมบัติฉบับนี้ถือได้ว่าเป็นกฎหมายงบประมาณฉบับแรกของเมืองไทย ดังปรากฏอยู่ในมาตราที่ 1 และมาตราที่ 2 ของพระราชบัญญัติ และจากพระราชบัญญัติฉบับนี้ เห็นได้ว่า กรมพระคลังมหาสมบัติมีฐานะเป็นกระทรวงเพราะใช้คำภาษาอังกฤษเพื่อเรียกอธิบดีว่า มินิสเตอร์ ออฟ ฟิแนนซ์ (Ministry of Finance)

เมื่อเปรียบเทียบเจ้าหน้าที่ผู้รับผิดชอบตามที่ปรากฏในพระราชบัญญัติสำหรับกรมพระคลังมหาสมบัติกับหน่วยงานในกระทรวงการคลังสมัยปัจจุบัน ก็จะเห็นได้ดังนี้

1. เจ้าพนักงานบัญชีรับเงิน อำนาจและหน้าที่ของเจ้าพนักงานผู้นี้เป็นหน้าที่ของกรมสรรพากร กรมสรรพสามิต และกรมศุลกากร
2. เจ้าพนักงานบัญชีจ่ายเงิน และเจ้าพนักงานผู้เก็บเงิน เป็นอำนาจและหน้าที่ของกรมธนารักษ์
3. ปลัดอธิบดี เทียบเท่ากับ ปลัดกระทรวง และอธิบดีกรมบัญชีกลาง
4. เจ้าพนักงานใหญ่ ก็คือประธานคณะกรรมการตรวจเงินแผ่นดิน

กรมพระคลังมหาสมบัติตามที่กล่าวมาแล้วนี้ ก็คือกระทรวงการคลังในปัจจุบันนั่นเอง และโดยที่กรมพระคลังมหาสมบัติได้รับการสถาปนาขึ้น ณ วันที่ 14 เมษายน พ.ศ. 2418 จึงถือเอาวันนี้เป็นวันสถาปนากระทรวงการคลัง นับถึงบัดนี้เป็นปีที่ 120

ประมาณปี พ.ศ. 2431 ได้มีการย้ายศุลกสถานหรือโรงภาษี ซึ่งเป็นที่ทำการของกรมศุลกากรจากปากคลองผดุงกรุงเกษม มาอยู่ที่ริมแม่น้ำ อำเภอบางรัก